Mega - mobile multimodal extended games

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012As aplicações de entretenimento móvel têm hoje em dia um papel importante e significativo no mercado de software, abrangendo um grupo variado de utilizadores. Tudo isto se deve ao repentino sucesso de dispositivos de interacção inovadora, como o Wiimote da Nintendo, o Move da Sony e o Kinect da Microsoft. Por sua vez estas técnicas de interacção multimodal têm sido exploradas para jogos móveis. A recente geração de dispositivos móveis vem equipada com uma grande variedade de sensores, para além dos óbvios como ecrã táctil e microfone. Existem ainda outros componentes interessantes como bússola digital, acelerómetros, sensores ópticos. Os dispositivos móveis são também utilizados como máquina fotográfica digital, agenda pessoal, assim como para ver videos e ouvir música, e claro, para jogar jogos. Olhar para os novos grupos de utilizadores e para as novas formas de jogar e incluir nos jogos formas de interacção novas, usando os atributos e potencialidades de novas plataformas e novas tecnologias é pois um assunto pungente e deveras desafiante. Com este trabalho pretende-se estudar e propor novas dimensões de jogo e interacção com plataformas móveis, sejam smartphones, sejam tablets, que se adequem às mais distintas comunidades de jogadores. Pretende-se sobretudo explorar modalidades alternativas como as baseadas no tacto e vibração, assim como no áudio, combinadas ou não com outras mais tradicionais de foro visual. Almeja-se ainda explorar jogos em grupo, à distância e co-localizados, encontrando e estudando novas formas de expressão em jogos clássicos e jogos inovadores que envolvam pequenos conjuntos de indivíduos. A ubiquidade inerente aos dispositivos móveis faz ainda com que se tenham que encontrar neste jogos de grupo formas de fluxo de jogo que sustentem saídas e entradas rápidas ou menos rápidas sem que ainda assim se perca o interesse e a motivação de jogar. Este trabalho iniciou-se com uma pesquisa intensiva de trabalho relacionado, sobre a área de jogos móveis e suas multimodalidades, passando consequentemente pela acessibilidade inerente, jogos em grupo e suas formas de comunicação e conexão, e por último dando especial atenção a jogos de puzzle, sendo o tipo de jogo focado neste trabalho. Seguidamente, foi efectuado o levantamento de requisitos e exploradas as opções de jogo e de interacção relativas a jogos de puzzle móveis multimodais. No âmbito deste estudo foram criados três pequenos jogos sobre um conceito comum: jogos de puzzle. A primeira aplicação contém três modalidades diferentes de jogo: uma visual, apresentando um jogo de puzzle de imagens baseado nos tradicionais; uma segunda auditiva, que recria o conceito de jogo através de música, tornando as peças em pequenas parcelas sonoras da música de tamanhos equivalentes; e a terceira háptica, criando deste modo um puzzle com peças de padrões vibratórios diferentes. A segunda aplicação recriou o mesmo conceito de jogo, puzzle, no modo audio, mas retirando toda a informação visual, apresentando simples formas de interacção. A terceira aplicação apresenta uma abordagem sobre os jogos em grupo, permitindo jogar puzzles visuais e de audio em dois modos distintos: cooperativo, onde os jogadores têm de jogar em equipa de forma a conseguir completar o puzzle; e competitiva, onde os jogadores são forçados a ser mais rápidos que o adversário de modo a poderem vencer. Todas estas aplicações permitem ao utilizador definir o tamanho do puzzle e o nível de dificuldade, assim como escolher as imagens e músicas que pretendem resolver em forma de puzzle. Foram conduzidos vários testes de utilizador, nomeadamente um para cada aplicação desenvolvida. Sobre a primeira aplicação vinte e quatro participantes jogaram puzzles visuais e auditivos, distribuídos equitativamente pelas modalidades. Deste modo, cada participante resolveu nove puzzles de imagem ou nove puzzles audio distintos. Neste primeiro estudo procurou descobrir-se as estratégias de resolução dos puzzles, procurando principalmente igualdades e diferenças entre os diferentes modos. Para o segundo estudo foi usada a segunda aplicação desenvolvida, e foram abrangidos novamente vinte e quatro utilizadores, doze dos quais sendo cegos. Cada participante resolveu três puzzles audio diferentes. Relativamente a este estudo, foi proposta uma comparação entre os modos estudados anteriormente, especialmente sobre o modo audio, uma vez que foi usado o mesmo procedimento. Para os utilizadores cegos o objectivo foi provar que seria possível criar um jogo divertido, desafiante e sobretudo acessível a partir de um conceito de jogo clássico. Para o último estudo, vinte e quatro participantes, organizados em pares, jogaram puzzles visuais e de audio em modo cooperativo e competitivo. Cada conjunto de participantes resolveu quatro puzzles, um para cada modo de jogo por cada tipo de puzzle, o que significa dois puzzles visuais, um competitivo e outro cooperativo, e dois puzzles audio, sendo também um cooperativo e outro competitivo. O objectivo mais uma vez foi procurar as estratégias de resolução, permitindo também a comparação com outros modos anteriormente estudados. Todos os jogos foram transformados em dados contendo todas as acções que cada jogador tomou durante a resolução do puzzle. Esses dados foram depois transformados em números específicos de forma a poderem ser analisados e discutidos. Os valores obtidos foram divididos em três grupos principais, as tentativas de colocação de peças, o número de ajudas, e o tempo de conclusão do puzzle. Em relação às tentativas de colocação de peças é possível identificar a ordem correspondente segundo três formas distintas, pela classificação do tipo de peças, pela disposição das peças na fita e pela ordem sequencial do puzzle. Os resultados do estudo mostram que uma mesma estratégia de resolução de puzzles é usada através de todos os modos estudados, os jogadores optam por resolver primeiro as zonas mais relevantes do puzzle, deixando as partes mais abstractas e confundíveis para o final. No entanto, parente novas modalidades de jogo, pequenas percentagens de utilizadores mostraram diferentes estratégias de resolução. Através das opiniões dos utilizadores é também possível afirmar que todas as aplicações desenvolvidas são jogáveis, divertidas e desafiantes. No final foi criado um conjunto de componentes reutilizáveis e um conjunto de parâmetros para a criação de novos jogos. Numa linha de trabalho futuro foram propostos vários objectivos interessantes que podem promover e reaproveitar o trabalho desenvolvido. Deste modo foi criado um jogo de puzzle baseado na primeira aplicação desenvolvida, mantendo os modos visual e audio, de forma a poder integrar no mercado de aplicações móveis, permitindo deste modo, um estudo em larga escala sobre os mesmos conceitos estudados neste trabalho. Foi também pensada a criação de um servidor centralizado, permitindo conter os resultados de todos os jogadores de forma a criar um ranking geral, podendo deste modo incentivar os jogadores a melhorar o seu desempenho, e ajudar a promover o próprio jogo. Outra alternativa passa por melhorar e aperfeiçoar o modo háptico, de forma a criar mais uma modalidade viável sobre o mesmo conceito de jogo, de forma a poder ser também estudada de forma equivalente. O puzzle para invisuais pode também ser melhorado e aperfeiçoado de forma a criar mais desafios através da inclusão dum modo háptio. E por fim, não menos importante, criar novas dimensões de jogo em grupo, permitindo jogar os modos cooperativo e competitivo em simultâneo, tendo por exemplo duas equipas de dois jogadores cada, a cooperar entre si para completar o puzzle, e de certa forma a competir contra a outra equipa para terminar primeiro e com melhores resultados. O objectivo seria, mais uma vez, estudar as estratégias usadas.Mobile entertainment applications have an important and significant role in the software market, covering a diverse group of users. All this is due to the sudden success of innovative interaction devices such as Nintendo’s Wiimote, Sony’s Move and Kinect’s Microsoft. On the other hand, these multimodal interaction techniques have been explored for mobile games. The latest generation of mobile devices is equipped with a wide variety of sensors, in addition to the obvious such as touch screen and microphone. There are other interesting components such as digital compass, accelerometers and optical sensors. Mobile devices are also used as a digital camera, personal organizer, to watch videos and listen to music, and of course, to play games. Looking for the new users groups and for the new ways to play the games and include new forms of interaction, using the attributes and capabilities of new platforms and new technologies is an issue as poignant and very challenging. This work aims to study and propose new dimensions of play and interaction with mobile platforms, whether smartphones or tablets, which suit most distinct communities of players. It is intended primarily to explore alternative modalities such as touch-based and vibratory, as well as audio based, combined or not with traditional visual ones. It also aims at exploring group games, spatially distributed and co-located, finding and studying new forms of expression in classic games and innovative games that involve small sets of individuals. The ubiquity inherent to mobile devices leads us to find input and output flows which support rapid or less rapid entry commands, without losing the interest and motivation to play. In addition to the design and implementation of three or four small game applications intended to create a set of reusable components and a set of guidelines for creating new games